本文主要回顾下几个常用算法的适应场景及其优缺点！

机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开始我们都会选择大家普遍认同的算法，诸如SVM，GBDT，Adaboost，现在深度学习很火热，神经网络也是一个不错的选择。假如你在乎精度（accuracy）的话，最好的方法就是通过交叉验证（cross-validation）对各个算法一个个地进行测试，进行比较，然后调整参数确保每个算法达到最优解，最后选择最好的一个。但是如果你只是在寻找一个“足够好”的算法来解决你的问题，或者这里有些技巧可以参考，下面来分析下各个算法的优缺点，基于算法的优缺点，更易于我们去选择它。

在统计学中，一个模型好坏，是根据偏差和方差来衡量的，所以我们先来普及一下偏差和方差：

偏差（Bias）和方差（Variance）是机器学习模型中两个重要的概念，它们是评估模型的泛化能力的重要指标。

偏差是指模型的预测值与实际值之间的差异，它反映了模型的拟合能力。偏差较大的模型可能过于简单，无法捕捉到数据中的复杂性，导致欠拟合（underfitting）的问题。

方差是指模型预测值的变化范围，它反映了模型的泛化能力。方差较大的模型可能过于复杂，对训练数据过度拟合，导致过拟合（overfitting）的问题。

模型的泛化误差（generalization error）可以表示为偏差的平方加上方差和噪声的和。这个公式也被称为“偏差-方差分解”（Bias-Variance Decomposition）。

为了得到一个具有较好的泛化能力的模型，需要平衡偏差和方差。通常采用的方法是通过交叉验证等技术来选择合适的模型复杂度，或者采用正则化等方法来限制模型复杂度，以降低方差。

当模型复杂度上升的时候，偏差会逐渐变小，而方差会逐渐变大。

以下内容引自知乎：

偏差和方差与模型复杂度的关系使用下图更加明了：

朴素贝叶斯分类器是一种基于贝叶斯定理的分类算法，它假设所有特征之间相互独立，因此被称为“朴素贝叶斯”分类器。它的主要思想是通过已知的标记数据集来估计每个特征值在不同分类下的条件概率，并利用贝叶斯定理来计算新样本属于每个类别的概率，最终将新样本分类到概率最大的那个类别。

具体而言，对于一个新样本，朴素贝叶斯分类器首先计算每个类别的先验概率，即在训练集中每个类别的样本数占总样本数的比例。然后，对于每个特征，计算在该特征下，每个类别的条件概率，即对于给定的特征值，该样本属于某个类别的概率。最后，利用贝叶斯定理，根据先验概率和条件概率计算新样本属于每个类别的后验概率，将新样本分类到后验概率最大的那个类别。

朴素贝叶斯分类器的优点是模型简单、计算效率高，在处理大规模数据时表现良好，并且对于噪声数据有一定的鲁棒性。但是它的缺点是假设特征之间相互独立，这在实际应用中很难满足，因此可能导致分类效果不够准确。

特征要求：

优点：

缺点：

逻辑回归，也称为逻辑斯蒂回归，是一种二分类的机器学习算法。它的主要目的是预测一个事物属于两个类别中的哪一个。逻辑回归假设输入变量和输出变量之间存在某种非线性关系，通过一个数学函数将输入变量映射到输出变量的概率。

逻辑回归的思想非常简单，它利用sigmoid函数将输入数据映射到0-1之间的概率值，然后根据概率值判断输入数据属于哪个类别。在训练过程中，逻辑回归会根据给定的输入数据和标签，通过最大化似然函数的方法来求出最优的参数。

逻辑回归广泛应用于各种领域，例如金融、医疗、广告等。它可以用于预测客户是否会购买某个产品，判断肿瘤是恶性还是良性，甚至可以用于预测选民的投票意向。

虽然逻辑回归是一种简单的算法，但是它在实际应用中表现出了很好的效果，并且具有很强的可解释性，因此广受欢迎。

Sigmoid函数：

优点：

缺点：

线性回归是用于回归的，而不像Logistic回归是用于分类，其基本思想是用梯度下降法对最小二乘法形式的误差函数进行优化，当然也可以用normal equation直接求得参数的解，结果为：

优点：

缺点：不能很好地拟合非线性数据。所以需要先判断变量之间是否是线性关系。

线性模型和非线性模型区别

线性模型是指可以用一个线性方程来描述的模型，其特点是变量之间的关系是线性的。例如，y=ax+b就是一个线性模型，其中y是因变量，x是自变量，a和b是常数。

非线性模型则不同，其特点是变量之间的关系不是线性的。例如，y=aexp(bx)就是一个非线性模型，其中y是因变量，x是自变量，a和b是常数，exp是指以e为底的指数函数。

多项式模型可以是线性模型也可以是非线性模型，具体取决于模型的形式。

如果多项式模型是指只有一个自变量的形式，例如y = a + bx + cx^2，则这个多项式模型就可以转化为y = a + bx1 + cx2的形式，其中x1 = x，x2 = x^2，这个模型就是一个线性模型。因为参数a、b、c之间的关系是线性的。

但是，如果多项式模型是指有多个自变量的形式，例如y = a + bx1 + cx2 + dx1x2，则这个多项式模型就不能简单地转化为线性模型的形式了，因为参数a、b、c、d之间的关系是非线性的。此时，需要使用非线性回归方法进行拟合。

因此，多项式模型可以是线性模型，也可以是非线性模型，具体取决于模型的形式。

非线性如何转化为线性

为什么在深度学习大杀四方的今天还使用线性回归呢？

一方面，线性回归所能够模拟的关系其实远不止线性关系。线性回归中的“线性”指的是系数的线性，而通过对特征的非线性变换，以及广义线性模型的推广，输出和特征之间的函数关系可以是高度非线性的。另一方面，也是更为重要的一点，线性模型的易解释性使得它在物理学、经济学、商学等领域中占据了难以取代的地位。

KNN即最近邻算法，其主要过程为：

如何选择一个最佳的K值，这取决于数据。一般情况下，在分类时较大的K值能够减小噪声的影响。但会使类别之间的界限变得模糊。一个较好的K值可通过各种启发式技术来获取，比如，交叉验证。另外噪声和非相关性特征向量的存在会使K近邻算法的准确性减小。

近邻算法具有较强的一致性结果。随着数据趋于无限，算法保证错误率不会超过贝叶斯算法错误率的两倍。对于一些好的K值，K近邻保证错误率不会超过贝叶斯理论误差率。

KNN算法的优点

缺点

决策树学习3步骤

特征选择：

决定了使用哪些特征来做判断。在训练数据集中，每个样本的属性可能有很多个，不同属性的作用有大有小。因而特征选择的作用就是筛选出跟分类结果相关性较高的特征，也就是分类能力较强的特征。

在特征选择中通常使用的准则是：信息增益。

决策树生成：

选择好特征后，就从根节点触发，对节点计算所有特征的信息增益，选择信息增益最大的特征作为节点特征，根据该特征的不同取值建立子节点；对每个子节点使用相同的方式生成新的子节点，直到信息增益很小或者没有特征可以选择为止。

剪枝：

剪枝的主要目的是对抗“过拟合”，通过主动去掉部分分支来降低过拟合的风险。

3种典型决策树算法

ID3 算法

ID3 是最早提出的决策树算法，他就是利用信息增益来选择特征的。

C4.5 算法

他是 ID3 的改进版，他不是直接使用信息增益，而是引入“信息增益比”指标作为特征的选择依据。

CART（Classification and Regression Tree）

这种算法即可以用于分类，也可以用于回归问题。CART 算法使用了基尼系数取代了信息熵模型。

优点

缺点

高准确率，为避免过拟合提供了很好的理论保证，而且就算数据在原特征空间线性不可分，只要给个合适的核函数，它就能运行得很好。在动辄超高维的文本分类问题中特别受欢迎。可惜内存消耗大，难以解释，运行和调参也有些烦人，而随机森林却刚好避开了这些缺点，比较实用。

支持向量机求解步骤：

增加核函数目的：

对于非线性的模型，我们需要：

看似很简单，但是我们在映射时，就会发现当变量增多时，映射到高维空间的维度是呈指数增长的，计算起来十分困难，这时候就需要核函数（kernel function）了。核函数也是将特征从低维到高维进行转换，但是它是先在低维上进行计算，实际的分类效果表现在高维上。这样，我们就避免了在高维上复杂的计算，仍得到相同的结果。 一些常用的核函数：多项式核、高斯核、线性核

对于线性不可分的数据集，需要使用某种核函数，可以是线性核函数、多项式核函数、高斯核函数和神经网络核函数等。这种采用核技巧（kernel trick）的处理方式可以将数据映射到一个更高纬的空间中，从而使得非线性关系会突然看起来是完全线性可分的，比如下图就形象地说明了这点：

对于核的选择也是有技巧的（libsvm中自带了四种核函数：线性核、多项式核、RBF以及sigmoid核）：

对于第一种情况，也可以先对数据进行降维，然后使用非线性核，这也是一种方法。

SVR

SVR还是拟合一条线，尽可能的穿过所有点。

优点

缺点

关于K-Means聚类的文章《机器学习算法-K-means聚类》。关于K-Means的推导，里面有着很强大的EM思想。

优点

具体过程：

Bagging 的思路是所有基础模型都一致对待，每个基础模型手里都只有一票。然后使用民主投票的方式得到最终的结果。大部分情况下，经过 bagging 得到的结果方差（variance）更小。

Boosting 的核心思路是——挑选精英。

Boosting 和 bagging 最本质的差别在于他对基础模型不是一致对待的，而是经过不停的考验和筛选来挑选出“精英”，然后给精英更多的投票权，表现不好的基础模型则给较少的投票权，然后综合所有人的投票得到最终结果。大部分情况下，经过 boosting 得到的结果偏差（bias）更小。

具体过程：

样本选择上：

Bagging：训练集是在原始集中有放回选取的，从原始集中选出的各轮训练集之间是独立的。

Boosting：每一轮的训练集不变，只是训练集中每个样例在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整。

样例权重：

Bagging：使用均匀取样，每个样例的权重相等

Boosting：根据错误率不断调整样例的权值，错误率越大则权重越大。

预测函数：

Bagging：所有预测函数的权重相等。

Boosting：每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重。

并行计算：

Bagging：各个预测函数可以并行生成

Boosting：各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果。

过程

随机性

随机性有两个方面：数据的随机性选取，以及待选特征的随机选取。

随机森林的随机性体现在每颗树的训练样本是随机的，树中每个节点的分裂属性集合也是随机选择确定的。有了这2个随机的保证，随机森林就不会产生过拟合的现象了。

随机分类分类和回归

所谓分类树就是面向分类的，每个决策树最末端的叶子结点出来的是一个分类标签，不是0就是1或者2等类别。回归树就是面向回归的，回归就是拟合函数一样，输出连续值，比如根据一大堆当天的特征输出明天的气温，气温是每个样本唯一输出的值，只不过输出的值根据特征的不一样输出值不一样而已，但是它们输出的意义是一样的，那就是都是气温。

优点

缺点

Adaboost是一种加和模型，每个模型都是基于上一次模型的错误率来建立的，过分关注分错的样本，而对正确分类的样本减少关注度，逐次迭代之后，可以得到一个相对较好的模型。是一种典型的boosting算法。下面是总结下它的优缺点。

AdaBoost算法优点：

Adaboost算法缺点：

人工神经网络的优点：

人工神经网络的缺点：

之前翻译过一些国外的文章，有一篇文章中给出了一个简单的算法选择技巧：

通常情况下：【GBDT>=SVM>=RF>=Adaboost>=Other…】

算法固然重要，但好的数据却要优于好的算法，设计优良特征是大有裨益的。假如你有一个超大数据集，那么无论你使用哪种算法可能对分类性能都没太大影响（此时就可以根据速度和易用性来进行抉择）。